CRAMER: Control via Request-Aware Masking for Editing Recommenders
CRAMER：基于请求感知掩码的推荐模型编辑控制
🧭 请求感知序列推荐 · 参数掩码控制 ★ 深度解读
Gaoling School of Artificial Intelligence, Renmin University of China · Faculty of Computer Science, Dalhousie University
用稀疏行-列参数掩码将自然语言请求即时作用于冻结的序列推荐骨干，避免重训与 LLM 推理开销
📌 工作参考价值（4 点）
- 借鉴掩码控制冻结骨干的架构：电商/推荐场景中，用户对推荐结果的即时反馈（如“不要太贵的”“更休闲”）可以用参数掩码在推理时快速调整模型，无需重新训练或部署多套模型；尤其适合已有大规模 Transformer 排序/召回模型。
- 用结构化行-列门控降低控制维度：不要对每个参数单独 mask，而是对矩阵行/列做门控再外积得到 entrywise mask，参数量从 O(d²) 降到 O(d)；配合 Gumbel-Top-k 实现 k-hot 稀疏，平衡表达力与开销。
- 工程实现可复用：请求文本经 PLM 编码 + mean pooling 得到语义向量 → 线性层投影到 gate logits → 离散采样得到 mask；训练只更新投影层和可选的部分 PLM，推理只多一次轻量前向，适合集成到现有 serving 系统。
- 超参数与模型选择：drop ratio 在 0.10 左右最优；小数据集需要更稀疏（更大 drop ratio）防过拟合；请求编码器用 ModernBERT 或 RoBERTa 比 MiniLM 效果好，可根据数据集规模选择。